It's LeVAsa not LevioSA! Latent Encodings for Valence-Arousal Structure Alignment

In recent years, great strides have been made in the field of affective computing. Several models have been developed to represent and quantify emotions. Two popular ones include (i) categorical models which represent emotions as discrete labels, and (ii) dimensional models which represent emotions in a Valence-Arousal (VA) circumplex domain. However, there is no standard for annotation mapping between the two labelling methods. We build a novel algorithm for mapping categorical and dimensional model labels using annotation transfer across affective facial image datasets. Further, we utilize the transferred annotations to learn rich and interpretable data representations using a variational autoencoder (VAE). We present "LeVAsa", a VAE model that learns implicit structure by aligning the latent space with the VA space. We evaluate the efficacy of LeVAsa by comparing performance with the Vanilla VAE using quantitative and qualitative analysis on two benchmark affective image datasets. Our results reveal that LeVAsa achieves high latent-circumplex alignment which leads to improved downstream categorical emotion prediction. The work also demonstrates the trade-off between degree of alignment and quality of reconstructions.Comment: 5 pages, 4 figures and 3 table

An Analysis of Physiological and Psychological Responses in Virtual Reality and Flat Screen Gaming

Recent research has focused on the effectiveness of Virtual Reality (VR) in games as a more immersive method of interaction. However, there is a lack of robust analysis of the physiological effects between VR and flatscreen (FS) gaming. This paper introduces the first systematic comparison and analysis of emotional and physiological responses to commercially available games in VR and FS environments. To elicit these responses, we first selected four games through a pilot study of 6 participants to cover all four quadrants of the valence-arousal space. Using these games, we recorded the physiological activity, including Blood Volume Pulse and Electrodermal Activity, and self-reported emotions of 33 participants in a user study. Our data analysis revealed that VR gaming elicited more pronounced emotions, higher arousal, increased cognitive load and stress, and lower dominance than FS gaming. The Virtual Reality and Flat Screen (VRFS) dataset, containing over 15 hours of multimodal data comparing FS and VR gaming across different games, is also made publicly available for research purposes. Our analysis provides valuable insights for further investigations into the physiological and emotional effects of VR and FS gaming.Comment: This work has been submitted to the IEEE Transactions on Affective Computing for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessibl

Empowering Cognitive Stimulation Therapy (CST) with Socially Assistive Robotics (SAR) and Emotion Recognition

Els sistemes assistits per robots per a la rehabilitació cognitiva poden augmentar l'abast dels beneficis potencials de les intervencions psicològiques o psicosocials basades en l'evidència per a persones amb una àmplia gamma de problemes de salut mental. Les investigacions existents a la socially assistive robots (SAR) manquen de validació clínica i, per tant, els metges tenen poca motivació per al seu ús en pràctiques clíniques. A mes, les interaccions entre humans i robots existents no tenen en compte l'estat emocional i la involucració actuals de l'usuari. Les intervencions de rehabilitació cognitiva per a persones amb problemes de salut mental requereixen una interacció complexa entre robots i humans, i la ubiqüitat dels dispositius portàtils, motiva l'ús de sistemes d'interacció amb robots capaços d'adquirir de forma autònoma informació sobre l'estat emocional de l'usuari, les intencions i el context circumdant perquè el robot pugui adaptar les interaccions en conseqüència. En aquesta tesi, he descrit el disseny, la implementació de les activitats de rehabilitació cognitiva assistides per robot i el reconeixement d'emocions en temps real a partir de senyals d'electro-dermal activity (EDA). El disseny d'intervencions assistides per robot presenta un marc coherent per produir efectes positius tant als usuaris com als cuidadors. La implementació del sistema confirma una major involucració entre els usuaris i una reducció significativa en la càrrega dels cuidadors. El desenvolupament dels algorismes de reconeixement d'emocions ha demostrat que és possible processar els senyals EDA en temps real amb un retard mínim per inferir l'estat emocional de les persones amb discapacitat intel.lectual (DI).Los sistemas asistidos por robots para la rehabilitación cognitiva pueden aumentar el alcance de los posibles beneficios de las intervenciones psicológicas o psicosociales basadas en evidencia para las personas con una amplia gama de problemas de salud mental. Las investigaciones existentes sobre socially assistive robots (SAR) carecen de validación clínica y, por lo tanto, los médicos hallan poca motivación para su uso en las prácticas clínicas. Además, las interacciones existentes entre humanos y robots no tienen en cuenta el estado emocional y la involucración actuales del usuario. Las intervenciones de rehabilitación cognitiva para personas con problemas de salud mental exigen una compleja interacción entre robots y humanos, y la ubicuidad de dispositivos portátiles motiva el uso de sistemas de interacción con robots capaces de adquirir de forma autónoma información sobre el estado emocional, las intenciones y el contexto circundante del usuario para que el robot pueda adaptar las interacciones en consecuencia. En esta tesis, describí el diseño, la implementación de actividades de rehabilitación cognitiva asistidas por robot y el reconocimiento de emociones en tiempo real a partir de señales electro-dermal activity (EDA). El diseño de intervenciones asistidas por robot presenta un marco coherente para producir efectos positivos tanto en los usuarios como en los cuidadores. La implementación del sistema confirma una mayor involucración entre los usuarios y una reducción significativa en la carga de los cuidadores. El desarrollo de los algoritmos de reconocimiento de emociones ha demostrado que es posible procesar las señales EDA en tiempo real con un retraso mínimo para inferir el estado emocional de las personas con discapacidad intelectual (DI).Robot-assisted systems for cognitive rehabilitation can increase the reach of potential benefits of evidence-based psychological or psychosocial interventions to the individuals with a wide range of mental health concerns. Existing researches in socially assistive robots (SAR) lack clinical validation and hence, medical practitioners have little motivation for their use in clinical practices. Besides, existing human-robot interactions are inattentive to the user’s current emotional state and engagement. Cognitive rehabilitation interventions for individuals with mental health concerns demand complex human robot interaction, and ubiquity of wearable devices motivates for robot interaction systems which can autonomously acquire information about the user’s emotional state, intentions and surrounding context so the robot can adapt its interactions accordingly. In this thesis, I have described the design, implementation of robot-assisted cognitive rehabilitation activities and real-time emotion recognition from electro-dermal activity (EDA) signals. Design of robot-assisted interventions presents a coherent framework to produce positive effects on both the users and the caregivers. The implementation of the system confirms an increased engagement among users and a significant reduction in caregivers burden. The development of the emotion recognition algorithms has shown that it is possible to process the EDA signals in real time with minimal lag to infer the emotional state of individuals with intellectual disability (ID)

Empowering Cognitive Stimulation Therapy (CST) with Socially Assistive Robotics (SAR) and Emotion Recognition

Els sistemes assistits per robots per a la rehabilitació cognitiva poden augmentar l'abast dels beneficis potencials de les intervencions psicològiques o psicosocials basades en l'evidència per a persones amb una àmplia gamma de problemes de salut mental. Les investigacions existents a la socially assistive robots (SAR) manquen de validació clínica i, per tant, els metges tenen poca motivació per al seu ús en pràctiques clíniques. A mes, les interaccions entre humans i robots existents no tenen en compte l'estat emocional i la involucració actuals de l'usuari. Les intervencions de rehabilitació cognitiva per a persones amb problemes de salut mental requereixen una interacció complexa entre robots i humans, i la ubiqüitat dels dispositius portàtils, motiva l'ús de sistemes d'interacció amb robots capaços d'adquirir de forma autònoma informació sobre l'estat emocional de l'usuari, les intencions i el context circumdant perquè el robot pugui adaptar les interaccions en conseqüència. En aquesta tesi, he descrit el disseny, la implementació de les activitats de rehabilitació cognitiva assistides per robot i el reconeixement d'emocions en temps real a partir de senyals d'electro-dermal activity (EDA). El disseny d'intervencions assistides per robot presenta un marc coherent per produir efectes positius tant als usuaris com als cuidadors. La implementació del sistema confirma una major involucració entre els usuaris i una reducció significativa en la càrrega dels cuidadors. El desenvolupament dels algorismes de reconeixement d'emocions ha demostrat que és possible processar els senyals EDA en temps real amb un retard mínim per inferir l'estat emocional de les persones amb discapacitat intel.lectual (DI).Los sistemas asistidos por robots para la rehabilitación cognitiva pueden aumentar el alcance de los posibles beneficios de las intervenciones psicológicas o psicosociales basadas en evidencia para las personas con una amplia gama de problemas de salud mental. Las investigaciones existentes sobre socially assistive robots (SAR) carecen de validación clínica y, por lo tanto, los médicos hallan poca motivación para su uso en las prácticas clínicas. Además, las interacciones existentes entre humanos y robots no tienen en cuenta el estado emocional y la involucración actuales del usuario. Las intervenciones de rehabilitación cognitiva para personas con problemas de salud mental exigen una compleja interacción entre robots y humanos, y la ubicuidad de dispositivos portátiles motiva el uso de sistemas de interacción con robots capaces de adquirir de forma autónoma información sobre el estado emocional, las intenciones y el contexto circundante del usuario para que el robot pueda adaptar las interacciones en consecuencia. En esta tesis, describí el diseño, la implementación de actividades de rehabilitación cognitiva asistidas por robot y el reconocimiento de emociones en tiempo real a partir de señales electro-dermal activity (EDA). El diseño de intervenciones asistidas por robot presenta un marco coherente para producir efectos positivos tanto en los usuarios como en los cuidadores. La implementación del sistema confirma una mayor involucración entre los usuarios y una reducción significativa en la carga de los cuidadores. El desarrollo de los algoritmos de reconocimiento de emociones ha demostrado que es posible procesar las señales EDA en tiempo real con un retraso mínimo para inferir el estado emocional de las personas con discapacidad intelectual (DI).Robot-assisted systems for cognitive rehabilitation can increase the reach of potential benefits of evidence-based psychological or psychosocial interventions to the individuals with a wide range of mental health concerns. Existing researches in socially assistive robots (SAR) lack clinical validation and hence, medical practitioners have little motivation for their use in clinical practices. Besides, existing human-robot interactions are inattentive to the user’s current emotional state and engagement. Cognitive rehabilitation interventions for individuals with mental health concerns demand complex human robot interaction, and ubiquity of wearable devices motivates for robot interaction systems which can autonomously acquire information about the user’s emotional state, intentions and surrounding context so the robot can adapt its interactions accordingly. In this thesis, I have described the design, implementation of robot-assisted cognitive rehabilitation activities and real-time emotion recognition from electro-dermal activity (EDA) signals. Design of robot-assisted interventions presents a coherent framework to produce positive effects on both the users and the caregivers. The implementation of the system confirms an increased engagement among users and a significant reduction in caregivers burden. The development of the emotion recognition algorithms has shown that it is possible to process the EDA signals in real time with minimal lag to infer the emotional state of individuals with intellectual disability (ID)

Empowering Cognitive Stimulation Therapy (CST) with Socially Assistive Robotics (SAR) and Emotion Recognition

Els sistemes assistits per robots per a la rehabilitació cognitiva poden augmentar l'abast dels beneficis potencials de les intervencions psicològiques o psicosocials basades en l'evidència per a persones amb una àmplia gamma de problemes de salut mental. Les investigacions existents a la socially assistive robots (SAR) manquen de validació clínica i, per tant, els metges tenen poca motivació per al seu ús en pràctiques clíniques. A mes, les interaccions entre humans i robots existents no tenen en compte l'estat emocional i la involucració actuals de l'usuari. Les intervencions de rehabilitació cognitiva per a persones amb problemes de salut mental requereixen una interacció complexa entre robots i humans, i la ubiqüitat dels dispositius portàtils, motiva l'ús de sistemes d'interacció amb robots capaços d'adquirir de forma autònoma informació sobre l'estat emocional de l'usuari, les intencions i el context circumdant perquè el robot pugui adaptar les interaccions en conseqüència. En aquesta tesi, he descrit el disseny, la implementació de les activitats de rehabilitació cognitiva assistides per robot i el reconeixement d'emocions en temps real a partir de senyals d'electro-dermal activity (EDA). El disseny d'intervencions assistides per robot presenta un marc coherent per produir efectes positius tant als usuaris com als cuidadors. La implementació del sistema confirma una major involucració entre els usuaris i una reducció significativa en la càrrega dels cuidadors. El desenvolupament dels algorismes de reconeixement d'emocions ha demostrat que és possible processar els senyals EDA en temps real amb un retard mínim per inferir l'estat emocional de les persones amb discapacitat intel.lectual (DI).Los sistemas asistidos por robots para la rehabilitación cognitiva pueden aumentar el alcance de los posibles beneficios de las intervenciones psicológicas o psicosociales basadas en evidencia para las personas con una amplia gama de problemas de salud mental. Las investigaciones existentes sobre socially assistive robots (SAR) carecen de validación clínica y, por lo tanto, los médicos hallan poca motivación para su uso en las prácticas clínicas. Además, las interacciones existentes entre humanos y robots no tienen en cuenta el estado emocional y la involucración actuales del usuario. Las intervenciones de rehabilitación cognitiva para personas con problemas de salud mental exigen una compleja interacción entre robots y humanos, y la ubicuidad de dispositivos portátiles motiva el uso de sistemas de interacción con robots capaces de adquirir de forma autónoma información sobre el estado emocional, las intenciones y el contexto circundante del usuario para que el robot pueda adaptar las interacciones en consecuencia. En esta tesis, describí el diseño, la implementación de actividades de rehabilitación cognitiva asistidas por robot y el reconocimiento de emociones en tiempo real a partir de señales electro-dermal activity (EDA). El diseño de intervenciones asistidas por robot presenta un marco coherente para producir efectos positivos tanto en los usuarios como en los cuidadores. La implementación del sistema confirma una mayor involucración entre los usuarios y una reducción significativa en la carga de los cuidadores. El desarrollo de los algoritmos de reconocimiento de emociones ha demostrado que es posible procesar las señales EDA en tiempo real con un retraso mínimo para inferir el estado emocional de las personas con discapacidad intelectual (DI).Robot-assisted systems for cognitive rehabilitation can increase the reach of potential benefits of evidence-based psychological or psychosocial interventions to the individuals with a wide range of mental health concerns. Existing researches in socially assistive robots (SAR) lack clinical validation and hence, medical practitioners have little motivation for their use in clinical practices. Besides, existing human-robot interactions are inattentive to the user’s current emotional state and engagement. Cognitive rehabilitation interventions for individuals with mental health concerns demand complex human robot interaction, and ubiquity of wearable devices motivates for robot interaction systems which can autonomously acquire information about the user’s emotional state, intentions and surrounding context so the robot can adapt its interactions accordingly. In this thesis, I have described the design, implementation of robot-assisted cognitive rehabilitation activities and real-time emotion recognition from electro-dermal activity (EDA) signals. Design of robot-assisted interventions presents a coherent framework to produce positive effects on both the users and the caregivers. The implementation of the system confirms an increased engagement among users and a significant reduction in caregivers burden. The development of the emotion recognition algorithms has shown that it is possible to process the EDA signals in real time with minimal lag to infer the emotional state of individuals with intellectual disability (ID)

An interdisciplinary approach to improving cognitive human-robot interaction: a novel emotion-based model

Socially Assistive Robotics (SAR) aims to provide robot-assisted therapy, for physical as well as cognitive rehabilitation. The paper analyzes two distinct use cases of cognitive rehabilitation therapies, one among involving children with Traumatic Brain Injury (TBI); and another one; second among involving individuals with Intellectual Disability (ID), and raises concerns regarding emotional adaptation, personalization, design, and ELS issues of human-robot interaction in such cases. The paper's aim is to provide some guidance on how social robots should be designed in order to accommodate emotions in HRI as well as to respect the rights of the persons with disabilities. We argue that it is critically important to address the concerns highlighted in order to empower robots with empathetic behavior and to deliver effective cognitive rehabilitation therapies